home *** CD-ROM | disk | FTP | other *** search
/ Magnum One / Magnum One (Mid-American Digital) (Disc Manufacturing).iso / d20 / qmlog100.arc / QMLOG.DOC < prev    next >
Text File  |  1991-03-17  |  13KB  |  367 lines
  1.  
  2. QMLog -- QM Log File Report Generator v1.0
  3.          George Peace 1:270/101@fidonet
  4.          March, 1991
  5.  
  6. QMLog reads log files generated by Greg Dawson's QM program (all 
  7. versions through 1.23/beta) and generates up to five reports that 
  8. tell tales about mail processing.
  9.  
  10. The QMLog program is entirely command line driven <!>...
  11.  
  12. QMLog <Logfile> [-a<AreasFile>] [-d<c|n>] [-f<?>] [-h]
  13.       [-i<HistoryFile] [-k] [-l<HistoryFile>] [-m<MsgDir>]
  14.       [-n[<p|d|i|n|o|0]>] [-o<OutputFile>] [-r[<dnrtz>]]
  15.       [-s[<n|a|d|i|0>]] [-u<from_name>] [-w] [-x<to_name>]
  16.       [-z#] [-t<title...>]
  17.  
  18. Dash (-) or slash (/) can be used interchangably. Upper or lower 
  19. case is accepted for all switches.
  20.  
  21. <LogFile>
  22. Identifies QM log file(s) to process. Wildcard notation can be 
  23. used. Log files is processed in the order found. The data is 
  24. accumulated in chronological order. The default specification 
  25. QM.LOG is used when none is provided. When provided, the logfile 
  26. specification must be the first item on the command line 
  27. following the program name.
  28.  
  29. -a<AreasFile>
  30. Identifies Areas.Bbs format file(s) QMLog will process for use in 
  31. the Runtime and Zero traffic reports. Wildcard notation can be 
  32. used. The default specification AREAS.BBS is used if -a is not 
  33. provided.
  34.  
  35. -d<c|n>
  36. Defines Duplicate report display order. The report can be 
  37. displayed in <C>ount or <N>ode number sequence. The default is 
  38. <N>ode number sequence.
  39.  
  40. -f?
  41. Filler / separator character for Network address, Duplicate, and 
  42. Traffic reports. The default is space.
  43.  
  44. -h
  45. Display command line switches/options. If this switch is 
  46. used on the command line QMLog exits after displaying command 
  47. line help.
  48.  
  49. -i<HistoryFile>
  50. Input data from history file(s) rather than from raw QM log 
  51. file(s). Wildcard notation can be used. The default history file 
  52. is QMLog.Dat.
  53.  
  54. -k
  55. Directs QMLog to delete QM log file(s) after processing has been
  56. completed. Only QM log files identified on the QMLog command line
  57. will be deleted. QMLog history files are not affected by this
  58. switch.
  59.  
  60. -l<HistoryFile>
  61. Write condensed log data to a history file. Data is written as 
  62. a series of comma-delimited records such that QMLog can use the 
  63. history file(s) to reproduce all reports. The default history 
  64. file is QMLog.Dat. If the history file already exists new data 
  65. will be appended to the file. History sessions are separated by
  66. a blank line.
  67.  
  68. -m<MessageDirectory>
  69. This switch tells QMLog to generate all requested reports as a 
  70. series of messages in the named subdirectory. A trailing 
  71. backslash is optional and will be assumed present if not 
  72. provided. This switch overrides the default destination of 
  73. QMLog.Rpt (see -o). The -o switch can be used with -m to direct 
  74. output to both message and file destinations. Large reports are 
  75. split into multiple messages as required.
  76.  
  77. -n<p|d|i|n|o|0>
  78. Defines the display sequence of the Network address distribution 
  79. report. Only one sequence can be specified:
  80.   p  by cumulative packet size (default).
  81.   d  by number of duplicate echomail messages.
  82.   i  by cumulative count of inbound echomail messages.
  83.   n  by network address (zone:net/node order).
  84.   o  by cumulative count of outbound echomail messages. see (-w).
  85.      This display sequence should be used only when all QM 
  86.      executions are one-pass (toss scan).
  87.   0  Display all data as accumulated from selected log file(s).
  88.  
  89. -o<OutputFile>
  90. This switch tells QMLog to generate all requested reports in the 
  91. specified file. If neither -o nor -m is secified QMLog generates 
  92. all requested reports to QMLog.Rpt. -o and -m can be used 
  93. together to generate output to both file and message 
  94. destinations.
  95.  
  96. -r<dnrtzx>
  97. Identifies the type of data to accumulate and report(s) generated 
  98. by QMLog. The default is to generate all reports. If -r is 
  99. provided only the specified report types will be generated.
  100.   d  Duplicate echomail report.
  101.   n  Network address (inbound) distribution report.
  102.   r  Runtime summary report.
  103.   t  Echomail conference traffic report.
  104.   z  Zero traffic report.
  105.   x  No reports
  106.  
  107. -s<n|a|d|i|0>
  108. Defines the display sequence of the echomail conference Traffic 
  109. report. Only one sequence can be specified:
  110.   n  by echomail conference name (default).
  111.   a  by average number of echomail messages received.
  112.   d  by number of duplicate echomail messages.
  113.   i  by cumulative count of inbound echomail messages.
  114.   0  Display all data as accumulated from selected log file(s).
  115.  
  116. -u<your_name_here>
  117. Up to 35 chars to use in message "from" field if -m message 
  118. output is requested. Underscores are replaced by spaces.
  119.  
  120. -w
  121. This switch generates an additional column of data in the Network 
  122. address distribution report. Outbound echomail message counts are 
  123. reported. 
  124.  
  125. -x<destination_name_here>
  126. Up to 35 chars to use in message "to" field if -m message output 
  127. is requested. Underscores are replaced by spaces.
  128.  
  129. -z#
  130. Defines the "zero" value for the Zero trafic report. All echomail 
  131. conferences with inbound traffic at or below the number provided 
  132. will be reported in the Zero traffic report. The default is 0.
  133.  
  134. -t<variable title data>
  135. The remainder of the command line is used as the report header. 
  136. This must be the last item on the command line.
  137.  
  138.  
  139. Execution examples:
  140.  
  141. Generate daily QM statistics. The first execution generates 
  142. a standard set of reports (the default) in d:\sysopfil\ps_stats.dly 
  143. and in message subdirectory v:\ps_daily. The second execution 
  144. generates only the Duplicate report in message subdirectory 
  145. v:\protosta. The filler character is specified as a period.
  146.  
  147.  QMLog o:\qm.log -ao:\backbone.bbs -od:\sysopfil\ps_stats.dly -mv:\ps_daily -tProtoStar -- 1:13/13 -- Daily Summary
  148.  QMLog o:\qm.log -mv:\protosta -rd -f.
  149.  
  150. Generate weekly QM statistics. All QM log files matching the 
  151. wildcard filespec h:\logs\qm_log.* are processed. Reports are 
  152. generated as a text file in d:\sysopfil\ps_stats.rpt and as 
  153. a series of messages v:\ps_weekl.
  154.  
  155.  QMLog h:\logs\qm_log.* -ao:\backbone.bbs -od:\sysopfil\ps_stats.rpt -mv:\ps_weekl -tProtoStar -- 1:13/13 -- Weekly Summary
  156.  
  157. Generate history files for subsequent -i processing.
  158.  
  159.  QMLog QM_Log.001 -lQM_Hist.001 -rx
  160.  QMLog QM_Log.002 -lQM_Hist.002 -rx
  161.  
  162. Process history files created by multiple data collection runs.
  163.  
  164.  QMLog -iQM_Hist.*
  165.  
  166.  
  167. ----------
  168. Capacities
  169. ----------
  170.  
  171. QMLog will accept up to 4000 unique echomail conference names, 
  172. 2000 unique network addresses, and 365 days of QM log file data.
  173.  
  174.  
  175. -------
  176. Reports
  177. -------
  178.  
  179. Runtime statistics:
  180.  
  181. (1)              EchoMail Processing Log of Activity for 1:13/13
  182. (2)                           Titles Look Like This
  183.  
  184.                                Runtime Statistics
  185.                                ==================
  186.  
  187. (3)                             Period: 1991-02-13 to 1991-02-13
  188.                Inbound compressed mail: 3926934 bytes  (183 bundles)
  189.                        Inbound packets: 9036272 bytes  (916 packets)
  190.                       Inbound echomail: 8532
  191. (4)            Outbound echomail [log]: 76266
  192.           Inbound:Outbound ratio [log]: 1:8.9
  193. (5)           Outbound echomail [calc]: 206944
  194.          Inbound:Outbound ratio [calc]: 1:24.3
  195.                     Duplicate echomail: 59
  196.                        Inbound netmail: 287
  197.                       Outbound netmail: 41
  198.                         Number of runs: 360
  199. (6)              Total processing time: 7.6 hours
  200.                         Toss-only time: 1.5 hours
  201.                         Scan-only time: 1.1 hours
  202.                         Toss-Scan time: 0 seconds
  203.  
  204. (1) The address is extracted from the QM log file(s) as the
  205.     destination address that occurred most frequently in
  206.     packets processed.
  207. (2) The title was generated from the QMLog command line:
  208.       QMLog ... -tTitles Look Like This
  209. (3) The execution period is extracted from QM begin entries in 
  210.     the QM log file(s).
  211. (4) The first set of outbound values are exactly as extracted 
  212.     from the QM log. Values reported by at least one QM beta 
  213.     version are not accurate when the exit after MaxMsgs option 
  214.     is used. (SCAN without PACK)
  215. (5) The second set of outbound values are calculated from the 
  216.     inbound echomail count and Areas.Bbs distribution lists. This 
  217.     second set offers a best guess of outbound numbers based on 
  218.     logged inbound echomail and the current Areas.Bbs 
  219.     configuration.
  220. (6) Processing times are reported according to characteristics of 
  221.     session data in the QM log file(s). QM does not log specific 
  222.     runtime information by function so values other than Total 
  223.     processing time are best guesses.
  224.  
  225.  
  226. Inbound Distribution Statistics:
  227.  
  228.                          Inbound Distribution Statistics
  229.                          ===============================
  230.                         Period: 1991-02-13 to 1991-02-13
  231.  
  232.  NET ADDRESS           PACKETS  ECHO IN    DUPES   NET IN  TRAFFIC
  233.  ================ ============ ======== ======== ======== ========
  234.  1:396/1                937494      923        0       28   10.37%
  235.  ...
  236.  local/unk                   0        0        0        0    0.00%
  237.  
  238.  TOTALS:               9036272     8532       59      287  100.00%
  239.  
  240. Data is accumulated according to the Origin address in .Pkts 
  241. during TOSS operations. The local/unk line is a "none of the 
  242. above" category for situations where the origin address is not 
  243. reported in the QM log file(s).
  244.  
  245.  
  246. Duplicate statistics:
  247.  
  248.                               Duplicate Statistics
  249.                               ====================
  250.                         Period: 1991-02-13 to 1991-02-13
  251.  
  252.  0:1/217     PERFECT_MACRO     1  
  253.  0:260/620   SF               1  
  254.  0:268/202   ATARI            5  GAMING           2  RECFRP          11  
  255.  0:269/201   AMY_TECH         1  AUTOMOTIVE       1  C_ECHO           1  
  256.              DOORWARE         1  FDECHO           1  FOR-SALE         2  
  257.              SFFAN            1  HDCONF           1  
  258.  ...
  259.  TOTAL:                      59
  260.  
  261. Duplicate counts by echomail conference for each address are 
  262. accumulated from TOSS operation log entries. No analysis is done 
  263. on actual message content and no blame is implied by this 
  264. information display.
  265.  
  266.  
  267. Traffic report:
  268.  
  269.                                 EchoMail Traffic
  270.                                 ================
  271.                         Period: 1991-02-13 to 1991-02-13
  272.  
  273.  AREA NAME                  TOTAL AVERAGE   DUPES MAX/DAY MIN/DAY TRAFFIC
  274.  ======================== ======= ======= ======= ======= ======= =======
  275.  12_STEPS                      20      20       0      20      20   0.23%   
  276.  4DOS                          12      12       0      12      12   0.14%   
  277.  4MODSONLY                      4       4       0       4       4   0.05%   
  278.  ...
  279.  ZZYZX                          3       3       0       3       3   0.04%   
  280.  
  281.  ALL AREAS                   8532    8532      59                 100.00%
  282.  
  283.   ! = duplicate (in 24 areas)
  284.   # = no inbound traffic but local or duplicate traffic exists (in 3 areas)
  285.  
  286. Information is extracted from TOSS log entries. MAX/DAY and 
  287. MIN/DAY values are based on the number of dates appearing in the 
  288. QM log file(s) processed. The ALL AREAS AVERAGE value is 
  289. calculated by dividing ALL AREAS TOTAL by the number of dates.
  290.  
  291.  
  292. Zero Traffic:
  293.  
  294.                               Zero Traffic Summary
  295.                               ====================
  296.                         Period: 1991-02-13 to 1991-02-13
  297.  
  298.  161 of 591 areas had no traffic during the report period.
  299.  
  300.  ABORTION         ACE              ADHD             AFI_BETA        
  301.  ALL_CHARGE       AMIGA_DESKTOP    AMIGA_MUSIC      AMIGA_PERFECT   
  302.  ...
  303.  ZCC              ZONEGATE         ZOOM            
  304.  
  305. Rather than clutter the Traffic report with additional lines, all 
  306. areas with zero traffic (see -z switch) are collected and 
  307. displayed for information and review.
  308.  
  309.  
  310. -------------------
  311. History File Format
  312. -------------------
  313.  
  314. History files contain as many as 4 record types. The first field 
  315. is the type indicator. Fields are comma-delimited.
  316.  
  317.    Id...
  318.         0,
  319.         history version,
  320.         run date,
  321.         QMLog version
  322.  
  323.    Date array...
  324.         1,
  325.         run date,
  326.         begin time,
  327.         end time,
  328.         echomail toss count,
  329.         echomail scan count,
  330.         echomail duplicate count,
  331.         archived mail bytes,
  332.         number of archived mail bundles,
  333.         number of packet bytes,
  334.         number of packets,
  335.         seconds of run time,
  336.         number of individual executions,
  337.         received netmail,
  338.         sent netmail,
  339.         seconds of toss only,
  340.         seconds of scan only,
  341.         seconds of toss/scan
  342.  
  343.    Node array...
  344.         2,
  345.         address as z:n/n,
  346.         echomail toss count,
  347.         echomail scan count,
  348.         echomail duplicate count,
  349.         archived mail bytes,
  350.         number of archived mail bundles,
  351.         number of packet bytes,
  352.         number of packets,
  353.         outbound bytes,
  354.         received netmail,
  355.         sent netmail
  356.           [,area_name,
  357.             dupe_count...]
  358.  
  359.    Area array
  360.         3,
  361.         area name,
  362.         echomail toss count,
  363.         echomail scan count,
  364.         echomail duplicate count
  365.         [,toss max per day...]
  366.  
  367.